1129. Орлов А.И. Контроллинг научной деятельности // Контроллинг. 2019. № 71. С. 18-24.

Орлов
Александр Иванович
профессор, доктор экон. наук, доктор техн. наук, канд. физ.-мат. наук, зав. лаб. экон.-мат. методов в контроллинге НОЦ «Контроллинг и управленческие инновации» МГТУ им. Н.Э. Баумана 

КОНТРОЛЛИНГ НАУЧНОЙ ДЕЯТЕЛЬНОСТИ

Контроллинг научной деятельности - важная составная часть контроллинга организационно-экономических методов. Оценка продуктивности и результативности научной деятельности проводится повсеместно в вузах и научных организациях. Приведем перечень основных положений разрабатываемой нами новой области контроллинга - контроллинга научной деятельности. Докажем, что ключевой показатель результативности научной деятельности - число цитирований. Проанализируем распространенные заблуждения, связанные с оценкой эффективности научной деятельности.

Ключевые слова: контроллинг, наука, управление, наукометрия, показатели продуктивности и результативности.
________________________________________

Orlov Alexander, professor, doctor of econ. sciences, doctor of techn. sciences, cand. of physical and mathematical sciences, head of Laboratory of economic and mathematical methods in controlling of research and education center "Controlling and managerial innovations", BMSTU

CONTROLLING OF SCIENTIFIC ACTIVITIES

Controlling of scientific activities is an important part of controlling of organizational and economic methods. Estimation of the productivity and effectiveness (potency, fecundity, performance) of scientific activity is carried out everywhere in universities and research organizations. Here is a list of the main provisions of the new field of controlling that we are developing - controlling of scientific activities. Let us prove that the key indicator of scientific performance is the number of citations. Let us analyze common misconceptions associated with the estimation of the effectiveness of scientific activity.

Keywords: controlling, science, management, scientometrics, indicators of productivity and effectiveness.

Введение
По нашему мнению, подходы современного контроллинга могут и должны с успехом использоваться в любой конкретной области. Возникает направление научной и практической деятельности под названием "контроллинг такой-то области". В настоящей статье в качестве конкретной области рассмотрим научную деятельность. В настоящее время для управления научной деятельностью в вузах и НИИ администраторы используют различные показатели, причем зачастую неадекватно. Контроллинг научной деятельности позволяет подойти к технологиям управления в этой области с научной точки зрения.
Считаем полезным для успешного развития научных исследований выделить новую область контроллинга (или новое направление) - контроллинг научной деятельности. Для обоснования этого выделения необходимо обсудить контроллинг в целом и его составную часть - контроллинг методов. Затем мы рассматриваем основные положения разрабатываемого нами контроллинга научной деятельности, уделяя внимание критике распространенных догм. Завершаем статью некоторыми рекомендациями по совершенствованию управления научной деятельностью в вузах и НИИ, вытекающими из контроллинга научной деятельности.

Контроллинг - наука о современных технологиях управления

Сначала обсудим научную область под названием "контроллинг".
Начнем с определения используемых терминов. Исходим из определения проф. С.Г. Фалько: "Контроллинг - это ориентированная на перспективу и основанная на измерении факта система информационно-аналитической и методической поддержки менеджмента в процессе планирования, контроля, анализа и принятия управленческих решений, обеспечивающая координацию и интеграцию подразделений и сотрудников по достижению поставленных целей" [1]. Короче говоря, контроллинг – это система информационно-аналитической поддержки процесса принятия управленческих решений в организации. Приведем еще одну формулировку С.Г. Фалько: "Сегодня контроллинг в практике управления российских предприятий понимается как «система информационно-аналитической и методической поддержки по достижению поставленных целей»". Таким образом, контроллер разрабатывает правила принятия решений, руководитель принимает решения, опираясь на эти правила. В литературе используются и другие определения контроллинга, но несмотря на различие используемых слов смысл остается тем же. Данное выше определение является наиболее распространенным. В перечне определений понятия "контроллинг" В.С. Чугунов приводит его первым [2].
В современных условиях научное направление "Контроллинг" выделяется не только своей активностью, но и быстрым интенсивным и экстенсивным ростом. Расширяется многообразие конкретных областей применения концепций контроллинга, разрабатываются новые интеллектуальные инструменты контроллинга [3]. 
В настоящее время часто используют скрытый контроллинг, т.е. системы информационно-аналитической поддержки процесса принятия управленческих решений в организации без использования термина "контроллинг". В таких случаях мы предлагаем говорить о "контроллинге под псевдонимами" [4]. Так, работы по информационно-аналитической поддержке процесса принятия управленческих решений в организациях проводились с давних времен, задолго до появления термина "контроллинг". Например, для принятия решений в военной области необходима информация о числе военнообязанных. О переписи военнообязанных рассказано в Ветхом Завете в Четвертой книге Моисеевой "Числа". При обсуждении этой переписи уместно использовать термины "статистические методы", "эконометрика", "контроллинг", однако этих появившихся значительно позже терминов нет в Библии.
Однако и после появления рассматриваемых терминов они не всегда используются. В одних организациях действуют службы контроллинга, в других информационно-аналитические подразделения носят иные названия, ведущие свое происхождение, например, от контрольных органов, аналитических центров и отделов по разработке и эксплуатации автоматизированных систем управления. 
Псевдонимы используют не только для контроллинга. Например, термин "эконометрика" стал применяться в нашей стране начиная с 1990-х годов, хотя работы, посвященные статистическим методам в экономике и управлении (т.е. эконометрике в современном понимании), весьма активно велись еще в XIX в. [5]. За рубежом термин появился раньше, чем у нас, но не намного - в ХХ в. В 1930 г. в США было создано первое международное эконометрическое общество. С 1933 г. стал издаваться журнал «Econometrica» - первый журнал, в названии которого есть этот термин. В 1941 г. выпущен первый учебник по эконометрике, автором которого был Я. Тинберген (1913–1994), в будущем - первый эконометрик, получивший нобелевскую премию по экономике (1969).

Контроллинг организационно-экономических методов

Инновации в сфере управления в промышленности и других отраслях народного хозяйства основаны, в частности, на использовании новых адекватных организационно-экономических методов. Контроллинг в этой области – это разработка процедур управления соответствием используемых и вновь создаваемых (внедряемых) организационно-экономических методов поставленным задачам. В деятельности управленческих структур выделяем интересующую нас сторону – используемые ими организационно-экономические методы. Такие методы рассматриваем с точки зрения их влияния на эффективность (в широком смысле) процессов управления промышленными предприятиями и организациями других отраслей народного хозяйства, в частности, научно-исследовательскими институтами. Если речь идет о новых методах (для данного предприятия), то их разработка и внедрение – организационная (управленческая) инновация, соответственно контроллинг организационно-экономических методов можно рассматривать как часть контроллинга инноваций. 
В работе [6] мы обосновываем выделение в контроллинге новой области – контроллинг методов - и обсуждаем содержание этой области. Речь идет прежде всего об организационно-экономических методах. По нашему мнению, следует говорить не только и не столько о методах, сколько об инструментах контроллинга, прежде всего математических (или, точнее, экономико-математических, учитывая направленность на решение задач экономики и управления) [3]. Впрочем, обсуждение содержания терминов "метод" и "инструмент" не входит в задачи настоящей статьи.
Необходимость принятия обоснованных управленческих решений возникает в самых разных областях человеческой деятельности. Правила принятия таких решений - компетенция структур контроллинга, даже если они действуют под другими названиями. 
В лаборатории экон.-мат. методов в контроллинге НОЦ «Контроллинг и управленческие инновации» МГТУ им. Н.Э. Баумана проведены исследования в области контроллинга (явного и скрытого) в ряде научных и прикладных областей [4]. В частности, рассмотрены проблемы контроллинга рисков [7], научной деятельности [8], персонала [9], качества продукции и услуг [10], организационно-экономического обеспечения решения задач управления в аэрокосмической отрасли [11], экологической безопасности [12], контроллинга агропромышленного комплекса [13]. Методы принятия управленческих решений во всех перечисленных областях имеют много общего.

Новая область контроллинга - контроллинг научной деятельности

Перейдем к обсуждению одной из перечисленных областей - контроллингу науки (научной деятельности). В настоящее время оценка продуктивности и результативности научной деятельности проводится повсеместно в вузах и научных организациях. Поэтому контроллинг инструментов управления научной деятельностью (как составная часть контроллинга организационно-экономических методов) представляет как теоретический, так и практический интерес.
Мы с 1970-х годов занимаемся разработкой ряда проблем контроллинга науки. Конкретные результаты приведены в многочисленных статьях, прежде всего выпущенных начиная с 2013 г. Промежуточные итоги подведены в монографии 2017 г. [8]. Рецензия [14] на эту монографию интересна тем, что в ней дан перечень основных положений разрабатываемого нами контроллинга научной деятельности. Обсудим этот перечень.
Основные положения наукометрии были сформулированы В. В. Налимовым и З. М. Мульченко еще в 1969 г. [15]. По нашей оценке, с тех пор в теоретической наукометрии единственным заметным, но сомнительным новшеством является появления. так называемого «индекса Хирша». Этот показатель предложен в 2005 году аргентино-американским физиком Хорхе Хиршем из Калифорнийского университета в Сан-Диего первоначально для оценки научной продуктивности физиков. Автор (или коллектив), опубликовавший N работ, имеет индекс Хирша h, если h из его публикаций цитируются как минимум h раз каждая, в то время как оставшиеся (N — h) работ цитируются не более чем h раз каждая. Таким образом, индекс Хирша - это некоторая характеристика центральной тенденции (т.е. средняя величина) для количеств ссылок на отдельные работы рассматриваемого автора (или коллектива). Неясно, чем индекс Хирша лучше средней цитируемости, т.е. частного от деления числа цитирований на число публикаций. 
Однако за полвека с момента появления монографии В. В. Налимова и З. М. Мульченко [15] прикладная наукометрия обогатилась большим числом инструментов, использующих разнообразные информационно-коммуникационные технологии, в частности, технологии больших данных (big data). Примером является Российский индекс научного цитирования (РИНЦ). 
Наукометрические данные используют при управлении научной деятельностью, коллективами НИИ и вузов. Однако такое использование не всегда является обоснованным. К сожалению, к ошибочным решениям приводят распространенные догмы в области управления научной деятельностью. Данное ниже обсуждение этих догм основано как на проведенных исследованиях, так и на личном опыте исследователя. Согласно РИНЦ, автор настоящей работы - один из наиболее цитируемых отечественных ученых по направлениям "Математика" и "Экономика. Экономические науки". Согласно В.В. Налимову, вклад ученого в фундаментальную науку оценивается числом цитирований его работ. 

Распространенные догмы

Распространены разнообразные догмы, приводящие к необоснованным управленческим решениям, наносящим вред отечественной науке. Например, многие лица:
- считают публикации в научных журналах основным видом научных публикаций;
- верят в реальное существование «мировой науки»;
- отдают приоритет публикациям в зарубежных журналах, индексируемых в базах библиометрических данных WoS и Scopus;
- основным наукометрическим показателем без каких-либо обоснований считают индекс Хирша;
- отрицательно относятся к самоцитированию;
- игнорируют публикации старше 5 лет, в частности, при расчете импакт-факторов журналов, и т. д.
(Поясним последнее понятие на примере. Если импакт-фактор журнала за 2018 год равен 2, значит, опубликованные в нем статьи за 2016 и 2018 годы цитировались в 2018 году в среднем по 2 раза. Базовый период в 2 года иногда заменяют на более длинный - 5 лет. Одна из вредных догм состоит в том, что импакт-фактор — это численный показатель важности научного журнала. Эта догма ориентирует на скороспелый эффект. Между тем фундаментальные работы имеют продолжительный "срок жизни", цитируются через много лет и десятилетий. Например, как показано в [16], статьи А.Н. Колмогорова 1930-х годов отнюдь не потеряли актуальности. Как и книги Н.Ф. Чарновского по организации производства, выпущенные в 1911 - 1927 гг. 
Опубликовать статью на английском языке за рубежом — это возможность продемонстрировать, как ценят автора этой статьи во всем мире. И совсем неважно, что для соотечественников знакомство с этой статьей будет затруднено - как из-за трудностей при обращении к журналу, так и из-за языковых проблем. Зато специалисты в англосаксонских странах, являющихся геополитическими конкурентами нашей страны, совершенно бесплатно получают в свое распоряжение научные результаты, найденные на деньги российских налогоплательщиков.
Кому выгодна глобализация? В современных условиях — геополитическим конкурентам нашей страны. Патриотизм означает, что заботиться надо прежде всего о своей стране, а не о геополитических конкурентах. 

Показатели продуктивности и результативности научной деятельности

На основе каких величин целесообразно принимать решения при управлении научной деятельностью, в частности, при распределении финансирования? При ответе на этом вопрос будем исходить из общих положений	 контроллинга. 
Как разъясняет С.Г Фалько: "В экономике под показателями понимают абсолютные и относительные величины, а также их совокупности, которые отражают явления хозяйственной деятельности предприятия. Если мы хотим узнать что-то о конкретном явлении, то мы измеряем некоторые его свойства... Таким образом, показатели, а также их совокупности выступают в качестве измерителей. Процесс измерения осуществляется при помощи измерительной системы, разрабатываемой службой контроллинга предприятия" [17, с.106].
Выделим прикладную науку, когда работа выполняется в интересах конкретного заказчика, и фундаментальную науку, нацеленную на увеличение знаний. В прикладной науке публикация полученных результатов в открытой печати не является целью и не всегда целесообразна, в частности, из-за необходимости соблюдения коммерческой и государственной тайны. В фундаментальной науке, наоборот, итогом выполненного исследования является публикация, а ее оценкой является востребованность научным сообществом, выраженное в числе цитирований в дальнейших работах. В настоящей статье рассматриваем фундаментальную науку и изучаем ее как информационный процесс [15].
Обсудим часто используемые показатели продуктивности и результативности научной деятельности. Это - ключевые показатели результата научной деятельности (KPI).
Основной показатель продуктивности - число публикаций. Варианты - учет вида публикаций и их объемов. Ясно, продуктивность определяется активностью автора, иногда - его административным положением, но не влиянием на развитие науки. Очевидно, нельзя оценивать научную деятельность только по числу публикаций. 
Ключевой показатель результативности - число цитирований. Если работу цитируют - значит, она нужна научному сообществу. Согласно основополагающей работе [15] результативность научной деятельности необходимо оценивать по числу цитирований и использовать этот показатель при принятии управленческих решений. Хорошо известны возмущающие факторы, которые могут исказить этот показатель. Так, с помощью административных методов можно его несколько завысить. Можно заметно исказить индекс Хирша [8]. Однако анализ данных РИНЦ показывает, что искажения мало влияют на общую картину.
Обсудим некоторые широко распространенные догмы. Управление наукой на основе числа публикаций в рецензируемых журналах (именно в журналах!) и индексов цитирования в журналах объективно замедляет развитие науки, переход полученных результатов в область практического применения, поскольку замедляет выход монографий и учебников. Действительно, как только научный результат попадает в учебник, ссылаться начинают на этот учебник, а не на исходные статьи, и наукометрические показатели автора результата перестают расти (если учитывать только журнальные ссылки). Зачем же тратить силы на написание учебника? 
Публикации в научных журналах являются наименее значимым типом научных публикаций. Естественная цепочка развития научного результата такова: тезисы доклада — тематический сборник — монография — учебник — широкое использование. Для развития нового направления публикации в научных журналах, вообще говоря, не нужны. Эти положения подтверждает история развития таких направлений (автор настоящей статьи активно участвовал в создании этих направлений), как статистика объектов нечисловой природы (статистика нечисловых данных, нечисловая статистика) и теория экспертных оценок. Ясно, что издание собственных журналов или завоевание позиций в уже существующих возможно лишь на этапе зрелости нового направления, но не на этапе его создания.
Необоснованность некоторых широко распространенных утверждений поражает. Например, на основе данных библиографической базы Scopus утверждают, что вклад России в мировую науку составляет порядка 1% (ссылок не даем, чтобы не пропагандировать недостойные работы и их авторов). Однако в указанную базу включено более 6000 американских журналов и только около 200 — российских (а только в «списке ВАК» — несколько тысяч журналов). Чему же удивляться — просматривается один российский журнал на 30 американских! Если сделать естественную поправку — умножить на 30 — то получим, что оценка доли России — 30 %, что вполне сопоставимо с американской долей (28,7 %).
«Мировая наука» — это миф. Сильная сторона современной отечественной фундаментальной науки — ее самодостаточность. Для получения нужных стране научных результатов мировая наука российским исследователям практически не нужна. Более того, возвеличивание «мировой науки» — это вредный миф, поддерживаемый врагами России с целью выкачивания ресурсов из нашей страны. О реальной роли "мировой науки" размышляет проф. С.Н. Гринченко [18].
На основе опыта многих исследователей констатируем, что для успешного ведения научной работы обычно вполне достаточно литературы на русском языке, цитирование иностранных источников — зачастую дань моде, а не необходимый элемент исследования. Вытекает это, в частности, из наличия огромного объема научных публикаций на русском языке. Известно, что начать и провести исследование можно "с нуля", без анализа литературных источников. Так, великий физик Л.Д. Ландау физические журналы не читал [19, с. 269]. Он проводил исследования "с нуля".

Позиция по ряду часто обсуждаемых вопросов

В последние годы интерес к проблемам управления наукой заметно вырос. Как следствие, вспух поток публикаций по вопросам оценки эффективности научной деятельности. Кратко сформулируем нашу позицию по ряду часто обсуждаемых вопросов.
Отметим полезность и необходимость самоцитирования. Подчеркнем, что активное самоцитирование научных организаций и научных сотрудников — показатель их передового положения в науке, наличия научных школ, перспективных научных направлений. Действительно, только начинающий исследователь в своей первой публикации не может на себя сослаться. По мере продвижения уменьшается значение чужих работ, зато резко увеличивается необходимость ссылок на свои публикации. Во-первых, с целью опоры на ранее полученные результаты. Во-вторых, с целью демонстрации связи своих новых результатов со старыми. С самоцитированием не следует бороться, его надо поощрять. 
Тезис В.В. Налимова о «незримых коллективах» [15] приводит к неизбежности и праве на существование «региональной науки» и заключению о снобизме «столичной науки». Понятие «мусорных журналов», т.н. «мурзилок», пропагандируется загнившей частью научного сообщества с целью принижения новых научных направлений и журналов, особенно действующих вне Москвы. Цель такого принижения — переключение потока направляемых в печать статей и соответствующих финансовых потоков на академические центры, в настоящее время быстро теряющие свои творческие потенции.
Объем накопленной научной информации на много порядков превышает возможности творческого освоения информации отдельным исследователем. Как следствие, основная проблема современной науки состоит во всеобщем невежестве научных работников. Современные информационно-коммуникационные технологии, в частности, методы анализа больших данных, лишь частично позволяют справиться с этой проблемой [20].
Подходы к управлению научной деятельностью на основе современной наукометрии достаточно подробно и всесторонне проанализированы в монографии [8]. Здесь мы сосредоточились на вопросах контроллинга научной деятельности. 

Выводы

Контроллинг научной деятельности, как и контроллинг в целом, - быстро растущая область теоретических и прикладных исследований. Однако информация о научных достижениях распространяется медленно. Необходимо резко ускорить распространение информации о полученных научных результатах. 
Основным показателем, по которому надо оценивать научную деятельность исследователя или организации, является число цитирований в РИНЦ. Ориентация на зарубежные базы данных Скопус и WoS наносит вред интересам нашей страны, поскольку при этом игнорируется основная часть отечественной научной продукции. 

Литература:

1. Фалько С.Г. Предмет контроллинга как самостоятельной научной дисциплины // Контроллинг. 2005. № 1 (13). С. 2-6.
2. Чугунов В.С. Контроллинг: философия, теория, методология: монография. - М.: НП "Объединение контроллеров", 2017. - 140 с.
3. Орлов А.И. Многообразие областей и инструментов контроллинга // Научный журнал КубГАУ. 2016. № 123. С. 688 – 707.
4. Орлов А.И. Контроллинг явный и контроллинг скрытый // Контроллинг. 2018. №3(69). С. 28-32.
5. Орлов А.И. Отечественная научная школа в области эконометрики // Научный журнал КубГАУ. 2016. № 121. С. 235 – 261.
6. Орлов А.И. Контроллинг организационно-экономических методов // Контроллинг. – 2008. – №4 (28). – С.12-18.
7. Орлов А.И. Современное состояние контроллинга рисков // Научный журнал КубГАУ. 2014. № 98. С. 933-942.
8. Лойко В.И., Луценко Е.В., Орлов А.И. Современные подходы в наукометрии. – Краснодар: КубГАУ, 2017. – 532 с.
9. Мухин В.В., Орлов А.И. Совершенствование организационных структур и контроллинг персонала на предприятиях типа "Научно-исследовательский институт" ракетно-космической промышленности // Научный журнал КубГАУ. 2015. № 109. С. 265–296. 
10. Орлов А.И. Основные проблемы контроллинга качества // Научный журнал КубГАУ. 2015. № 111. С. 20-52.
11. Орлов А.И. О подходах к разработке организационно-экономического обеспечения решения задач управления в аэрокосмической отрасли // Научный журнал КубГАУ. 2014. № 99. С. 884-896.
12. Гаврилова В.Д., Орлов А.И. Экологическая безопасность: подземные безоболочечные резервуары в многолетнемерзлых грунтах для захоронения отходов бурения // Научный журнал КубГАУ. 2016. № 117. С. 50–70.
13. Орлов А.И., Реут Д.В. Системная парадигма как основание построения службы контроллинга агропромышленного комплекса // Научный журнал КубГАУ. 2017. № 132. С. 518 – 548.
14. Москалева О.В. Рецензия на книгу: Лойко В.И., Луценко Е.В., Орлов А.И. Современные подходы в наукометрии (Краснодар: КубГАУ, 2017. 532 с.) // Научный редактор и издатель. 2017. Т.2. № 2-4. С. 130-132.
15. Налимов В.В., Мульченко З.М. Наукометрия. Изучение науки как информационного процесса. — М.: Наука, 1969. — 192 с.
16. Кудлаев Э.М., Орлов А.И. Вероятностно-статистические методы исследования в работах А.Н. Колмогорова // Заводская лаборатория. Диагностика материалов. 2003. Т.69. № 5. С.55-61.
17. Фалько С.Г. Контроллинг для руководителей и специалистов. - М.: Финансы и статистика, 2008. - 272 с.
18. Гринченко С.Н. Является ли мировая наука «организмом»? // Биокосмология – нео-Аристотелизм. Bilingual Electronic Journal of Universalizing Scientific and Philosophical Research based upon the Original Aristotelian Cosmological Organicism. Vol. 4. № 1 – 2 (Winter / Spring 2014). – P. 115 – 122.
19. Воспоминания о Л.Д. Ландау. - М.: Наука, 1988. - 352 с.
20. Лойко В.И., Луценко Е.В., Орлов А.И. Современная цифровая экономика. – Краснодар: КубГАУ, 2018. – 508 с.

References:

1. Fal'ko S.G. Predmet kontrollinga kak samostoyatel'noj nauchnoj discipliny // Kontrolling. 2005. № 1 (13). S. 2-6.
2. CHugunov V.S. Kontrolling: filosofiya, teoriya, metodologiya: monografiya. - M.: NP "Ob"edinenie kontrollerov", 2017. - 140 s.
3. Orlov A.I. Mnogoobrazie oblastej i instrumentov kontrollinga // Nauchnyj zhurnal KubGAU. 2016. № 123. S. 688 – 707.
4. Orlov A.I. Kontrolling yavnyj i kontrolling skrytyj // Kontrolling. 2018. №3(69). S. 28-32.
5. Orlov A.I. Otechestvennaya nauchnaya shkola v oblasti ehkonometriki // Nauchnyj zhurnal KubGAU. 2016. № 121. S. 235 – 261.
6. Orlov A.I. Kontrolling organizacionno-ehkonomicheskih metodov // Kontrolling. – 2008. – №4 (28). – S.12-18.
7. Orlov A.I. Sovremennoe sostoyanie kontrollinga riskov // Nauchnyj zhurnal KubGAU. 2014. № 98. S. 933-942.
8. Lojko V.I., Lucenko E.V., Orlov A.I. Sovremennye podhody v naukometrii. – Krasnodar: KubGAU, 2017. – 532 s.
9. Muhin V.V., Orlov A.I. Sovershenstvovanie organizacionnyh struktur i kontrolling personala na predpriyatiyah tipa "Nauchno-issledovatel'skij institut" raketno-kosmicheskoj promyshlennosti // Nauchnyj zhurnal KubGAU. 2015. № 109. S. 265–296. 
10. Orlov A.I. Osnovnye problemy kontrollinga kachestva // Nauchnyj zhurnal KubGAU. 2015. № 111. S. 20-52.
11. Orlov A.I. O podhodah k razrabotke organizacionno-ehkonomicheskogo obespecheniya resheniya zadach upravleniya v aehrokosmicheskoj otrasli // Nauchnyj zhurnal KubGAU. 2014. № 99. S. 884-896.
12. Gavrilova V.D., Orlov A.I. EHkologicheskaya bezopasnost': podzemnye bezobolochechnye rezervuary v mnogoletnemerzlyh gruntah dlya zahoroneniya othodov bureniya // Nauchnyj zhurnal KubGAU. 2016. № 117. S. 50–70.
13. Orlov A.I., Reut D.V. Sistemnaya paradigma kak osnovanie postroeniya sluzhby kontrollinga agropromyshlennogo kompleksa // Nauchnyj zhurnal KubGAU. 2017. № 132. S. 518 – 548.
14. Moskaleva O.V. Recenziya na knigu: Lojko V.I., Lucenko E.V., Orlov A.I. Sovremennye podhody v naukometrii (Krasnodar: KubGAU, 2017. 532 s.) // Nauchnyj redaktor i izdatel'. 2017. T.2. № 2-4. S. 130-132.
15. Nalimov V.V., Mul'chenko Z.M. Naukometriya. Izuchenie nauki kak informacionnogo processa. — M.: Nauka, 1969. — 192 s.
16. Kudlaev EH.M., Orlov A.I. Veroyatnostno-statisticheskie metody issledovaniya v rabotah A.N. Kolmogorova // Zavodskaya laboratoriya. Diagnostika materialov. 2003. T.69. № 5. S.55-61.
17. Fal'ko S.G. Kontrolling dlya rukovoditelej i specialistov. - M.: Finansy i statistika, 2008. - 272 s.
18. Grinchenko S.N. YAvlyaetsya li mirovaya nauka «organizmom»? // Biokosmologiya – neo-Aristotelizm. Bilingual Electronic Journal of Universalizing Scientific and Philosophical Research based upon the Original Aristotelian Cosmological Organicism. Vol. 4. № 1 – 2 (Winter / Spring 2014). – P. 115 – 122.
19. Vospominaniya o L.D. Landau. - M.: Nauka, 1988. - 352 s.
20. Lojko V.I., Lucenko E.V., Orlov A.I. Sovremennaya cifrovaya ehkonomika. – Krasnodar: KubGAU, 2018. – 508 s.